Mot-clé - peer review - La science, la cité

Mot-clé : peer review

8
mai
2007

Jusqu'à présent, le dessein intelligent (intelligent design, sorte de créationnisme 2.0) se présentait sous la forme d'un paquet d'arguments et de raisonnements, jetés à la tête de l'évolutionniste critique. Ces arguments, on les trouvait dans des brochures, sur des sites Internet et dans des livres de "vulgarisation" destinés au grand public. Depuis peu, quelques tentatives s'efforcent de donner du caractère scientifique au canon du dessein intelligent, par exemple grâce à un livre de cours qui se veut structuré et synthétique : L'Atlas de la création, dont Benjamin nous a déjà parlé. Mais il restait la question de la recherche "en train de se faire" : quid des modes de communication des créationnistes travaillant dans des instituts comme le Discovery Institute ou l'Institute for Creation Research ? Ces chercheurs allaient jusqu'à se plaindre dans Nature de ne pas pouvoir y publier !

Ceci est terminé. Via Improbable Research, on apprend qu'une revue consacrée aux recherches créationnistes vient d'être créée : l'International Journal for Creation Research. Et il s'agit bien d'une revue où les articles sont évalués par des pairs (peer review)^[1].

Alors quoi, en se mettant enfin au diapason de la science, le créationnisme deviendrait scientifique ? Ca dépend de ce que l'on entend par "scientifique"… Bruno Latour, dans le texte "Vous avez dit "scientifique" ?" publié en septembre 2000 dans La Recherche^[2], distingue trois sens de ce mot :

une forme de discours qui permet de renvoyer dans les cordes la sagesse populaire et les rumeurs oiseuses, parce qu'il n'y a plus à discuter ;
des entités nouvelles dont on n'avait jusqu'ici jamais entendu parlé, (…) à l'intérieur de communautés scientifiques originales. Au lieu de clore une discussion, ces entités-là rendent les interlocuteurs perplexes ;
un énoncé renforcé par une grande quantité de chiffres, données, de preuves. Alors que le premier sens renvoie plutôt à l'indiscutable et que le second porte sur la nouveauté et la perplexité qu'elle engendre, ce troisième sens porte sur ce que l'on pourrait appeler la logistique.

C'est cette "logistique" que vient de s'offrir le créationnisme à travers l'indispensable revue avec comité de lecture. Désormais, il pourra se vanter de manipuler des chiffres et de s'appuyer sur des citations en bonnes et dues formes, il pourra se vanter de créer des entités nouvelles comme la baraminologie — mais pas forcément de fabriquer des discours suffisamment solides pour pouvoir être assénés à un dîner. Il lui manque encore ce premier sens du mot "scientifique", lequel est qualifié par Bruno Latour de sens de l'épistémologie politique.

Un peu comme si on fondait aujourd'hui une branche de la chimie sur l'existence du phlogistique (comme avant Lavoisier) ou du mercure philosophal (comme dans l'uchronie de Gregory Keyes). Après tout, il pourrait y avoir des gens pour financer, ça marcherait bien (en cercle fermé) et on garderait la face… Mais in fine, on demande bien à la science de créer des entités qui ne peuvent plus être retournées ou contournées, ou alors de se contenter d'être philosophie ou métaphysique. Parions que le dessein intelligent risque de finir ainsi, lui qui n'hésite pas à considérer que quand nous n'avons pas d'explication naturelle à un fait de la nature, nous devrions le dire au lieu d'en chercher absolument !

Notes

[1] Même si elle précise dans ses instructions aux rapporteurs (p. 10) : Nous devons nous servir de balances justes, de poids justes (Lévitique 19:36) car nous avons aussi un Evaluateur au Ciel (Ephésiens 6:9, Colossiens 3:24 et 4:1).

[2] Et repris dans les Chroniques d'un amateur de sciences, Ecole des mines de Paris, 2006.

Antoine Blanchard

7 commentaires

Nouvelles du front (4)

in Science

5
mai
2007

Je dois reconnaître que j'ai tardé à écrire ce volume 4, d'où un sommaire très riche !

En janvier dernier, un article publié dans PLoS Medicine analysait 2856 évaluations (reviews) pour la revue Annals of Emergency Medicine, signées par 306 rapporteurs (reviewers) expérimentés. D'où il apparaît que le seul indicateur significativement corrélé à un rapport de lecture de qualité est le fait d'avoir été formé il y a moins de 10 ans ou de travailler dans un hôpital universitaire. D'autres travaux avaient fait ressortir l'impact positif sur l'évaluation d'une formation en épidémiologie ou statistique ou avaient souligné que l'effet de la formation est faible et à court-terme. Quand en plus on sait que le peer-review est souvent impuissant à détecter la fraude ou les erreurs, le comité de rédaction de PLoS Medicine se permet de poser la question qui dérange : pourquoi s'embêter finalement avec le peer-review ? Les réponses ne manquent évidemment pas, ici comme chez eux !

Le 4 février, une dépêche de l'Agence Reuters faisait l'apologie d'un nouvel espoir de médicament contre le cancer. Katherine Schaefer aurait découvert par hasard qu'un régulateur de PPAR-gamma avait tué ses cultures de cellules tumorales. "On tient sans doute un nouveau médicament contre le cancer", pensa-t-elle alors... dès 2005 ! Rien de très nouveau, affirme le blog Spoonful of medicine. Alors pourquoi ressortir cette histoire aujourd'hui, et quel rapport avec les thématiques de ce blog ? Eh bien, il semble que c'est une attachée de presse zélée de l'université de K. Schaefer, qui a remis cette histoire au goût du jour saisissant l'occasion d'un nouvel article publié, et utilisant l'emballage attrayant de la "découverte par hasard". Or même cet excellent guide d'écriture d'un communiqué de presse scientifique passe sous silence la règle n° 1 : n'écrire un communiqué qu'à bon escient, quand quelque chose de véritablement nouveau est publié, et sans sur-vendre !

Le 1er mars, le Journal of Clinical Investigation présentait sa nouvelle politique vis-à -vis des conflits d'intérêts. En soulignant bien qu'admettre un conflit d'intérêt potentiel ne signifie pas nécessairement qu'un auteur ou un résultat n'est plus crédible ; cela permet plutôt au lecteur d'interpréter les motivations et contributions d'un auteur ou d'une source de financement donnés à la lumière de ces potentiels conflits.

©© nic221

Le 27 mars, un article signé par le comité de rédaction de PLoS Medicine revenait sur la pratique des revues systématiques (systematic reviews ou SR) de la littérature bio-médicale. A la différences des méta-analyses, il ne s'agit pas forcément de passer un ensemble de résultats à la moulinette statistique mais de présenter de manière synthétique et critique l'ensemble des travaux relatifs à une question bien précise. 2500 de ces revues systématiques sont désormais publiées par an, dont certaines qui sont de mauvaise qualité ou pas à jour peuvent tromper, et la publication sélective de SR qui sont connotées politiquement — ou la non-publication de celles qui ont des résultats dérangeants — peuvent menacer leur crédibilité. D'où ces recommandations valables pour PLoS Medicine comme pour PLoS ONE.

Le même jour, GlaxoSmithKline était jugé coupable de manquements au Fair Trading Act néo-zélandais et condamné à payer une amende de 217 500 $. Pourquoi ? Parce que les affirmations de GSK sur le contenu en vitamine C de sa boisson Ribena étaient erronées, comme l'ont montré... deux collégiennes de 14 ans ! A l'occasion de travaux pratiques sur la vitamine C, elles avaient constaté que les 7 mg / 100 mL prétendus par la publicité étaient indétectables. Un bel exemple de science amateur ou science populaire. (via le blog Improbable Research)

Enfin, un article du numéro du 29 mars de Nature creusait en détail la question de la réplication des résultats, en particulier dans le domaine des cellules souches. Où il apparaît que, à l'image de travaux publiés en 1999 et en 2002 dont les résultats n'ont jamais pu être reproduits et qui font encore débat, c'est tout le domaine des cellules souches qui est sur la sellette. Parce qu'il est très "chaud" (enjeux économiques), sous haute-surveillance (enjeux éthiques et politiques) et fait appel à du matériel très délicat à manipuler, il semble en effet plus exposé que les autres. Et dans ces conditions, la fraude n'est jamais loin... Une bonne raison pour redoubler de prudence dans la couverture médiatique de ce type de travaux !

Antoine Blanchard

3 commentaires

Fraude, publication, pratiques de recherche : comment les pièces s'imbriquent

in Science

23
mar.
2007

La structure d'un blog, sa parcellisation en billets, rend difficile la vision synthétique. Ainsi, j'ai pu parler ici de PLoS ONE, là du peer-review, ici des difficultés à intégrer la réplication des résultats dans le cours normal de la recherche, là de la fraude, ici des protocoles expérimentaux bien différents de la réalité. Bien-sûr, on obtient une image assez large des défis de la science aujourd'hui mais plus un puzzle qu'un tableau de Hopper.

©© INTVGene

Le prétexte à rassembler toutes ces pièces dipersées m'est fourni par un article de Nature publié en juillet 2006, sur lequel je suis retombé récemment. Comme quoi, il est bon de lire et bookmarker une première fois pour mieux y revenir ensuite par sérendipité... Dans cet article, le journaliste Jim Giles aborde un grand nombre de thèmes et fait le constat suivant (ma traduction) :

Il y a quarante ans, l'immunologiste et Prix Nobel Peter Medawar déclarait que tous les articles scientifiques étaient frauduleux, dans le sens où ils décrivent la recherche comme un doux passage des hypothèses aux conclusions en passant par les expériences, quand la réalité est toujours moins nette que cela. Les commentaires, blogs et trackbacks, en élargissant le domaine de la publication au-delà des limites de l'article traditionnel, pourraient rendre la littérature scientifique un peu moins frauduleuse dans le sens de Medawar comme dans le sens plus général. Ils pourraient aussi aider les nombreux scientifiques frustrés qui luttent pour reproduire des découvertes alors que, peut-être, ils ne devraient pas se donner tant de mal. La réplication, malgré toute son importance conceptuelle, est une affaire sociale, chaotique (messy) ; il se pourrait qu'elle ait besoin d'un médium social, chaotique.

Une profession de foi que je fais mienne, assurément !

J'ai aussi récemment vu une exhortation à publier des thèses controversées dans des journaux en accès libre, en l'occurrence PLoS ONE, afin qu'elles puissent être discutées ouvertement et sérieusement : le physicien atypique Vincent Fleury est ainsi apostrophé par OldCola (pseudonyme d'un biologiste). Une autre convergence entre préoccupations finalement pas si éloignées...

Antoine Blanchard

6 commentaires

Le peer commentary, de Nature à PLoS ONE

in Communication

5
janv.
2007

Mon billet précédent sur le peer commentary a fait beaucoup réagir, l'opinion dominante étant que le peer review ne sera jamais remplacé avantageusement par un système où chacun est invité à commenter et à réagir directement aux articles scientifiques. C'est plus ou moins la conclusion à laquelle arrive également la revue Nature, dont la tentative d'open peer review s'est terminé en septembre. Bilan annoncé en décembre dernier :

1369 articles candidats
71 articles ouverts au public après accord des auteurs
92 commentaires postés sur 38 articles, dont 49 sur 8 articles
10 commentaires pour l'article le plus commenté, portant sur la sélection sexuelle post-accouplement
note moyenne attribuée par les auteurs aux commentaires reçus : 2,6/5 pour ceux portant sur le contexte de publication (editorial) et 1,8/5 pour les commentaires plus techniques.

Pour Nature, l'expérience n'est pas aussi concluante qu'ils l'espéraient, essentiellement en raison du nombre et de la qualité moyenne des commentaires. Ils n'envisagent donc pas immédiatement de la renouveler voire de l'adopter pour de bon : "les chercheurs ne sont pas encore prêts" affirme Timo Hannay.

Mais le 20 décembre était officiellement lancé PLoS ONE, qui penche résolument de l'autre côté et mise tout sur le peer commentary. Tous les articles soumis à PLoS ONE sont relus par "au moins un des 200 chercheurs composant le comité de rédaction, uniquement pour vérifier l'absence d'erreur majeure dans les expériences effectuées ou leur analyse. A la différence de quasiment toutes les autres revues, les rapporteurs ne font pas attention à la signification des résultats. A la place, les articles importants seront mis en avant par l'attention qu'ils susciteront après publication." (Jim Giles, "Open-access journal will publish first, judge later", Nature 445: 9, 4 janvier 2007). En l'absence de tri a priori des articles, ce ne sont pas moins de 40 à 60 articles qui seront publiés par mois dans toutes les disciplines, pour atteindre quelques centaines par mois à moyen terme.

Comme l'affirme le rédacteur en chef de PLoS ONE Chris Surridge, le but est de "faire une revue où les articles ne sont pas une fin en soi mais le début d'une discussion" (Jim Giles, op. cit.). Pour ce faire, des outils avancés permettant de surligner et d'annoter directement dans le texte, de commenter et de noter les commentaires ont été ou vont être déployés (voir un exemple sur l'article "bac à sable"). Plus largement, l'ambition des fondateurs du groupe PLoS dont Harold Varmus est véritablement de "tranformer la manière dont on publie la science" !

Le "match" est intéressant et le futur nous dira quelle est la meilleur option. Mais on peut aussi imaginer que les deux modèles continueront à cohabituer, avec d'autres intermédiaires où le peer commentary s'ajoute au peer review sans le remplacer...

Antoine Blanchard

4 commentaires

Peer commentary

in Communication

5
déc.
2006

Une des voies d'avenir du peer review est l'open peer review où les lecteurs ont accès aux conclusions des rapporteurs et peuvent moduler leur lecture en fonction. Mais si le peer review en soi reste la pierre angulaire du système, il n'empêche pas de développer une option tout à fait excitante nommée peer commentary où tous les lecteurs peuvent réagir à l'article et confronter leurs points de vue, ce qui offre une lecture encore plus riche. On le retrouve notamment sur la plateforme ArXiv de physique et mathématiques (avec la fonction de trackback qui permet de faire savoir que l'on a blogué sur l'article), dans les journaux PLoS (par exemple PLoS Computational Biology) et bientôt PLoS ONE que l'on promet novateur en matière de communication scientifique…

Mais dans la plupart des cas, si les commentaires sont intéressants, ils ne suscitent pas des réactions passionnées et il n'y a pas de vrai débat autour de l'article. Le cas est différent avec un article publié dans le British Medical Journal dont vous avez peut-être entendu parler, qui montre que "googler" les symptômes d'une maladie mène au bon diagnostic dans 58% des cas ! Or, depuis le 11 novembre, il y a déjà eu 39 commentaires, la plupart de médecins, venant critiquer ou approuver l'étude. C'est ainsi que sont critiqués l'intervalle de confiance de 38% à 77%, les biais liés à la manière dont les maladies testées ont été sélectionnées, la démarche assez limitée où les symptômes sont empruntés exactement au vocabulaire médical ou la notion qui a souvent transparu de "Google comme fournisseur de contenu" ; à l'inverse, des lecteurs constatent qu'eux-mêmes pratiquent le googling de symptômes, conseillent d'autres bases de données que Google comme Google Health ou d'ajouter "emedecine" à la syntaxe de recherche pour augmenter la probabilité d'avoir des réponses pertinentes, voire posent d'autres questions pour les études à venir.

Pour moi, le contrat est rempli : le peer commentary permet d'enrichir l'article immédiatement après sa publication et d'apporter des éléments supplémentaires, entraînant même la réponse des auteurs ! Le tout disponible en ligne en accès libre, de quoi éclairer aussi la lecture d'un profane qui aurait voulu en savoir plus sur un article repris en masse par la presse grand public, pas souvent de manière rigoureuse.

Concluons ce billet avec quelques remarques plus générales de Ghislaine Chartron (tirées de son article sur "Une économie renouvelée de la communication scientifique") (c'est moi qui souligne) :

Sans bouleverser fondamentalement les processus de communication et de publication scientifique, ces innovations [sociales] ont introduit, pour la publication scientifique (...) une ouverture des cercles d’autorité qui ne peuvent pas ignorer les échanges informels portés par le réseau ; l’autorité désignée (comités scientifiques fermés) doit faire face à l’agora ouverte des autres chercheurs. Ce dernier point renvoie à la notion de peer commentary – pour reprendre les termes de S. Harnad – qui s’est développée de façon inégale et de manière souvent informelle ; le peer commentary est perçu majoritairement comme une fonction supplémentaire pouvant améliorer la qualité de l’évaluation, mais ne pouvant en aucune façon se substituer au peer review (Harnad, 1998). Le processus d’évaluation scientifique est resté jusqu’à présent assez stable dans le cadre du numérique. Certes, au niveau organisationnel, il a bénéficié d’une logistique d’appui plus élaborée (utilisation possible d’un logiciel de workflow), mais aucune évolution plus profonde n’a vraiment pris place. Contrairement à de nombreuses formes de débat public, la fonction d’évaluation reste attachée à un travail approfondi, cadré dans une relation de confiance entre des experts et des comités de rédaction. La transposition de cette fonction sur d’autres vecteurs pourrait très bien s’envisager mais il n’en est rien pour le moment, la revue restant le repère structurant de la publication scientifique, même dans les champs les plus innovants en termes de communication numérique. Toutefois, il faut signaler l’ouverture très récente (juin 2006) du service PloSOne qui vise à introduire des débats plus ouverts pour l’évaluation des articles des revues de cet éditeur, articles qui sont déjà en accès libre par ailleurs. L’évolution est peut-être en marche ?…

Antoine Blanchard

6 commentaires

« billets plus anciens - page 2 de 3 - billets plus récents »

La science, la cité